Tháng 9 năm 1939, Chiến tranh thế giới thứ hai bùng nổ, ông nhập ngũ vào Quân đội Pháp. Tháng 5 năm 1940 ông được cử theo học tại trường Sĩ quan Trừ bị Saint Maixent. Tuy nhiên, trong thời gian ông thụ huấn, nước Pháp thất thủ trước Đức Quốc xã, ông bị bắt làm tù binh tại chiến trường La Loire và bị giam giữ 2 tháng tại trường Thiết giáp Kỵ binh Saumur. Tháng 12 năm đó ông hồi hương bằng đường biển trên tàu thủy Ville de Strasbourg.

Sau khi về nước, ông tiếp tục phục vụ cho Quân đội Pháp tại Đông Dương, trở thành Huấn luyện viên tân binh cho các binh sĩ người Việt trong Quân đội thuộc địa. Năm 1940 ông là một trong 2 hạ sĩ quan trẻ người Việt trong số khóa sinh được cử theo học trường Võ bị Tông Sơn Tây,[3] theo chương trình đào tạo sĩ quan người Việt của Chính quyền thuộc địa Pháp để phục vụ cho Quân đội thuộc địa Pháp.[4] Một năm sau, ông tốt nghiệp với cấp bậc Chuẩn úy và được giữ lại trường làm Huấn luyện viên.

Năm 1945, khi Nhật đảo chính Pháp tại Đông Dương, ông theo đoàn quân của tướng Marcel Alessandri vượt biên đào thoát sang Trung Quốc. Vì vậy, khi quân Pháp tái chiếm Đông Dương, ông được thăng cấp Thiếu úy, được phân công phục vụ tại Văn phòng của tướng Philippe Leclerc, Tổng Tư lệnh Quân Viễn chinh Pháp tại Đông Dương. Giữa tháng 12 ông từng được chọn vào Biệt đội hỗ trợ cho Cựu hoàng Duy Tân, nguyên Thiếu tá Quân đội Pháp. Tuy nhiên do cựu hoàng bị tử nạn máy bay vào ngày 26 tháng 12 năm 1945 khi trên đường trở về nước nên ông được chuyển sang Sở Nghiên cứu Lịch sử Pháp. Đầu tháng 10 năm 1946, ông được thăng cấp Trung úy.